Иван Семёнович был женат на Анне Николаевне Коровкиной, которая была на 26 лет моложе своего мужа.

С.Д. Урусов вспоминал: «...Анна Николаевна по годам была ближе к моему возрасту, нежели к возрасту своего мужа, и мы, по ее рассказам играли вместе под столом, когда я еще ползал, а она была девочка лет пятнадцати. После замужества своего, как я впоследствии узнал, и сам понял, Анна Николаевна обнаружила такие способности, так расширила свои умственный кругозор, интересы и общее образование, что стала одной из замечательных интереснейших представительниц высшего культурного столичного общества. Необыкновенно живой ум с внезапными проблесками юмора, меткие суждения, практическая деловитость, соединявшаяся с широким интересом к общим вопросам в разнообразных областях мысли и жизни - все это делало общение с ней чрезвычайно привлекательным. Она была надежной помощницей своему мужу, который хотя и являлся настоящим главой семьи, все же никогда не пренебрегал ее мнением и советом, даже в таких случаях, которые непосредственно касались вопросов служебного характера».

Современники отмечали, что Унковские жили в Ярославле очень скромно, «... званых вечеров и торжественных приемов, за редким исключением, не устраивали. Но у них часто и охотно собирались по вечерам человек 5-6 из числа близких знакомых, то одни, то другие, не ожидая особого приглашения, совершенно запросто. Дамы иногда приносили с собой какую-нибудь работу, вследствие чего такие вечера имели совершенно интимный характер. ...Кроме официальных обедов и вечеров..., Унковские ежегодно устраивали два торжественных приема, собирая на них своих знакомых по приглашениям. 15 декабря бывала парадная большая елка с раздачей детям подарков, а в ночь на 1 января организовывался парадный ужин, человек на 50 – встречали Новый год».

У Ивана Семёновича и Анны Николаевны Унковских было пять дочерей - Анна, Варвара, Евдокия, Екатерина, Ольга и сын Семён.